AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding
AngelSpec: 面向真实负载的推测解码训练与部署框架
🧭 推测解码 · 多策略协同与自适应验证 ★ 深度解读
Tencent Inc.
针对负载异构，专业化MTP与块扩散drafter，配合自适应验证深度，在Hy3-21B上实现1.98–2.40倍加速
📌 工作参考价值（4 点）
- 若业务LLM服务需加速（如推荐解释生成、query改写），可借鉴“工作负载特化”思想：为闲聊等高熵场景训练MTP drafter；为代码生成等低熵场景训练块扩散drafter，提升接受率。
- D-cut的自适应验证深度策略可迁移至Agent多步推理：根据请求置信度与系统负载动态决定LLM生成步数，平衡响应时间与质量，避免固定budget浪费。
- 训练技巧：Training-Time Test（TTT）和基于总变差距离（TV loss）的损失函数可有效缓解drafter分布偏移，对低延迟场景（如在线推荐）有直接应用价值，可复用其接受率对齐训练范式。
- AngelSpec开源训练框架支持多drafter联合训练与评估，降低企业自研推测解码方案的门槛，适合多领域LLM应用的快速实验。